混音是指基于插值的数据增强，最初是作为超越经验风险最小化（ERM）的一种方式。然而，它的扩展侧重于插值的定义及其发生的空间，而增强本身的研究较少：对于$ m $的小批量，大多数方法在$ m $对之间的插值与单个标量插值之间的插值因子$ \ lambda $。在这项工作中，我们通过引入Multimix来朝这个方向取得进展，Multimix插入了任意数字$ n $的元组，每个元组，长度$ m $，一个vector $ \ lambda $每个元组。在序列数据上，我们进一步扩展到所有空间位置上的密集插值和损失计算。总体而言，我们通过数量级以几乎没有成本来增加每个小批量的元素数量。通过在分类器之前的最后一层插值来可以通过插值。最后，为了解决因线性目标插值而引起的不一致之处，我们引入了一种自我鉴定方法来生成和插值合成目标。我们从经验上表明，我们的贡献导致对四个基准测试的最先进混合方法的显着改善。通过分析嵌入空间，我们观察到这些类更紧密地聚集并均匀地分布在嵌入空间上，从而解释了改善的行为。

变形金刚和蒙版语言建模在计算机视觉中很快被视为视觉变压器和蒙版图像建模（MIM）。在这项工作中，我们认为由于图像中令牌的数量和相关性，图像令牌掩盖与文本中的令牌掩盖有所不同。特别是，为了为MIM产生具有挑战性的借口任务，我们主张从随机掩盖到知情掩盖的转变。我们在基于蒸馏的MIM的背景下开发并展示了这一想法，其中教师变压器编码器生成了一个注意力图，我们用它来指导学生为学生指导掩盖。因此，我们引入了一种新颖的掩蔽策略，称为注意引导蒙版（ATTMASK），我们证明了其对基于密集蒸馏的MIM以及基于普通蒸馏的自然剥离的自助力学习的有效性。我们确认ATTMASK可以加快学习过程，并提高各种下游任务的性能。我们在https://github.com/gkakogeorgiou/attmask上提供实现代码。

很少拍摄的学习解决了学习如何解决不仅仅是有限的监督而且有限的数据的挑战。有吸引力的解决方案是合成数据生成。然而，大多数此类方法过于复杂，专注于输入空间中的高质量现实数据。目前尚不清楚是否将它们适应少次拍摄的制度并使用它们在分类的下游任务中是正确的方法。以前关于综合数据生成的工作，用于几次分类专注于利用复杂模型，例如，具有多个常规方或网络的Wasserstein GaN，可从新颖的课程中传输潜在的分集。我们遵循不同的方法，并调查如何有效地使用简单和简单的合成数据生成方法。我们提出了两个贡献，即我们表明：（1）使用简单的损失函数足以训练几次拍摄设置中的一个特征生成器; （2）学习生成张量特征而不是矢量特征是优越的。在MiniimAgenet，Cub和CiFar-FS数据集上的广泛实验表明，我们的方法设置了新的最新状态，优于更复杂的少量数据增强方法。源代码可以在https://github.com/michalislazarou/tfh_fewshot找到。

几秒钟学习量为学习陈述和获取知识，使得可以通过受限和数据来解决新的任务。通过转换推断可以提高性能，其中整个测试集同时可用，并半监督学习，其中更具未标记的数据可用。专注于这两个设置，我们介绍了一种新的算法，利用标记和未标记的数据分发的歧管结构来预测伪标签，同时在课堂上平衡并使用有限容量分类器的损耗值分布来选择可清洁的标签，迭代地提高伪标签的质量。我们的解决方案在四个基准数据集，即MiniimAgenet，TieredimageNet，Cub和CiFar-FS上竞争或匹配最先进的结果，同时稳健地拥有特征空间预处理和可用数据的数量。可公开的源代码可以在https://github.com/michalislazarou/ilepc中找到。

Semi-supervised learning is becoming increasingly important because it can combine data carefully labeled by humans with abundant unlabeled data to train deep neural networks. Classic methods on semi-supervised learning that have focused on transductive learning have not been fully exploited in the inductive framework followed by modern deep learning. The same holds for the manifold assumption-that similar examples should get the same prediction. In this work, we employ a transductive label propagation method that is based on the manifold assumption to make predictions on the entire dataset and use these predictions to generate pseudo-labels for the unlabeled data and train a deep neural network. At the core of the transductive method lies a nearest neighbor graph of the dataset that we create based on the embeddings of the same network. Therefore our learning process iterates between these two steps. We improve performance on several datasets especially in the few labels regime and show that our work is complementary to current state of the art.

Recent large-scale image generation models such as Stable Diffusion have exhibited an impressive ability to generate fairly realistic images starting from a very simple text prompt. Could such models render real images obsolete for training image prediction models? In this paper, we answer part of this provocative question by questioning the need for real images when training models for ImageNet classification. More precisely, provided only with the class names that have been used to build the dataset, we explore the ability of Stable Diffusion to generate synthetic clones of ImageNet and measure how useful they are for training classification models from scratch. We show that with minimal and class-agnostic prompt engineering those ImageNet clones we denote as ImageNet-SD are able to close a large part of the gap between models produced by synthetic images and models trained with real images for the several standard classification benchmarks that we consider in this study. More importantly, we show that models trained on synthetic images exhibit strong generalization properties and perform on par with models trained on real data.

Lipschitz regularized f-divergences are constructed by imposing a bound on the Lipschitz constant of the discriminator in the variational representation. They interpolate between the Wasserstein metric and f-divergences and provide a flexible family of loss functions for non-absolutely continuous (e.g. empirical) distributions, possibly with heavy tails. We construct Lipschitz regularized gradient flows on the space of probability measures based on these divergences. Examples of such gradient flows are Lipschitz regularized Fokker-Planck and porous medium partial differential equations (PDEs) for the Kullback-Leibler and alpha-divergences, respectively. The regularization corresponds to imposing a Courant-Friedrichs-Lewy numerical stability condition on the PDEs. For empirical measures, the Lipschitz regularization on gradient flows induces a numerically stable transporter/discriminator particle algorithm, where the generative particles are transported along the gradient of the discriminator. The gradient structure leads to a regularized Fisher information (particle kinetic energy) used to track the convergence of the algorithm. The Lipschitz regularized discriminator can be implemented via neural network spectral normalization and the particle algorithm generates approximate samples from possibly high-dimensional distributions known only from data. Notably, our particle algorithm can generate synthetic data even in small sample size regimes. A new data processing inequality for the regularized divergence allows us to combine our particle algorithm with representation learning, e.g. autoencoder architectures. The resulting algorithm yields markedly improved generative properties in terms of efficiency and quality of the synthetic samples. From a statistical mechanics perspective the encoding can be interpreted dynamically as learning a better mobility for the generative particles.

自我监督模型在机器学习（ML）中越来越普遍，因为它们减少了对昂贵标签数据的需求。由于它们在下游应用程序中的多功能性，它们越来越多地用作通过公共API暴露的服务。同时，由于它们输出的向量表示的高维度，这些编码器模型特别容易受到模型窃取攻击的影响。然而，编码器仍然没有防御：窃取攻击的现有缓解策略集中在监督学习上。我们介绍了一个新的数据集推理防御，该防御使用受害者编码器模型的私人培训集将其所有权归因于窃取的情况。直觉是，如果受害者从受害者那里窃取了编码器的培训数据，则在受害者的培训数据上，编码器的输出表示的对数可能比测试数据更高，但如果对其进行了独立培训，则不会。我们使用密度估计模型来计算该对数可能性。作为我们评估的一部分，我们还建议测量被盗编码器的保真度并量化盗窃检测的有效性，而无需涉及下游任务；相反，我们利用相互信息和距离测量值。我们在视觉领域中广泛的经验结果表明，数据集推断是捍卫自我监督模型免受模型窃取的有前途的方向。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。